DLoop: Looped Speculative Decoding
循环投机解码：让多次草稿共用一次验证
🧭 LLM 推理加速 · 投机解码 ★ 深度解读
NAVER AI Lab · NAVER AI Search Platform · Korea University
DLoop 让一次验证覆盖多个草稿阶段，通过置信度门控与 loop-aware 训练，在多种投机解码上把 wall-clock speedup 提升 5–41%
📌 工作参考价值（4 点）
- 如果线上 LLM 链路（query 改写、商品/广告文案生成、推荐理由生成）采用 speculative decoding，可在 drafter 后加置信度门控：对每个 draft block 累加 log probs，与阈值比较决定是否再 draft 一轮；不增加模型和模块，只增加少量 draft forward cost，能减少 target model 验证次数，尤其适合草稿接受率高的结构化/模板化输出。
- 对已有的 EAGLE/MTP 自回归 drafter 或 DFlash/Domino/DSpark 并行 drafter，可以按 DLoop 做 loop-aware 微调：训练时用 draft model 自己的 hidden states 多轮 unroll，损失只加在最远端 block，N 取 3；不改变架构，可在既有 draft weights 上继续训练，显著提升长草稿链上的可靠性。
- 门控阈值 g 比较鲁棒，论文统一用 -0.5 或 -0.75；在业务数据上小规模扫描即可，不必训练额外 head。该方法也可与 tree verification 叠加：若已有 tree 推理加速，可沿最高分路径继续延长，进一步减少验证次数。
- 注意并发 serving 下增益会随 batch 负载上升而衰减；建议在低并发、长尾或单请求延迟敏感的场景使用，或结合动态批调度/regrouping 优化。